Trong thời gian khởi nghĩa chống nhà Đường, vào năm 618[5], Lê Ngọc đã xây dựng sinh phần tại địa phận làng Trường Xuân[6], xã Đông Ninh, huyện Đông Sơn ngày nay. Trước sinh phần có xây Hoằng tĩnh đài và dựng một cái bia[1]. Bia này được phát hiện trong đền thờ Lê Ngọc tại làng Trường Xuân, hiện được lưu giữ ở Viện Bảo tàng Lịch sử Việt Nam, được coi là một trong những tấm bia xưa nhất Việt Nam[6][7][8] (Tấm bia xưa nhất Việt Nam xác định được đến năm 2013 là tấm bia đá có niên đại từ năm 314 đến năm 450, phát hiện tại thôn Thanh Hoài, xã Thanh Khương, huyện Thuận Thành, tỉnh Bắc Ninh[9]). Trên bia có ghi Đại Nghiệp thập tứ niên, tức là năm Đại Nghiệp thứ mười bốn (Đại Nghiệp là niên hiệu của Tùy Dạng đế). Dù đời Đại Nghiệp chỉ có 13 năm, nhưng khi Tùy Dạng Đế bị giết, đồng thời nhà Tùy đổ thì Lê Ngọc không theo nhà Đường nên khi dựng bia vẫn theo niên hiệu Đại Nghiệp[6]. Văn bia này ca ngợi sự nghiệp và đạo học của Lê Ngọc[1].